How to Loop MoE: Flatten the Experts, Untie the Attention
如何循环 MoE：摊平专家层、解开注意力
🧭 Looped MoE 架构训练与专家路由 ★ 深度解读
Case Western Reserve University · Kyoto University · NII LLMC
Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度
📌 工作参考价值（4 点）
- 在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
- 循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
- 监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
- 做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。